\section{数据来源及预处理}

\subsection{数据来源}
\paragraph{}
本次可视化设计数据\footnote{疫情数据起始时间视研究情况而定，截止时间一般为
	5月17日或16日（部分国家数据更新不及时），此外，疫情发展阶段的分析
	对数据要求的现势性较高，次部分数据截止日期为分析当天，5月20日。}
来源主要有以下几部分：
\begin{itemize}
	\item \textbf{哈佛大学新冠肺炎数据集：}
	      https://dataverse.harvard.edu/dataverse/2019ncov
	\item \textbf{2019新型冠状病毒疫情时间序列数据仓库：}
	      https://gitee.com/zhouzhikwo/DXY-COVID-19-Data(由Github上同名仓库克隆而来)
	\item \textbf{Open COVID-19 Dataset:}
	      https://gitee.com/zhouzhikwo/data(由Github上同名仓库克隆而来)
	\item \textbf{Wuhan-2019-nCoV:}https://gitee.com/zhouzhikwo/Wuhan-2019-nCoV(由Github上同名仓库克隆而来)
\end{itemize}

\subsection{数据预处理}
\paragraph{}
三种数据来源的数据各有不同之处，且各有不同的用处，需进行不同的预处理。
针对不同应用项目的特点整理出不同的数据格式和数据内容。
\subsubsection{处理方法}
\paragraph{}
针对数据中的数据冗余，数据格式不当，以及应用所需格式要求，对数据
采用以下方法进行预处理
\begin{enumerate}[1.]
	\item 针对数据中的到5月16日确诊人数仍为0的国家或地区的数据
	      利用Excel进行筛选、删去。
	\item 根据python种plotly库的需要，利用Excel将行向排列的数据调整为列向
	      排列，根据时间序列进行排列。
	\item 利用Python从原数据中算出全球每天确诊病例、死亡病例、治愈病例
	      以及现存病例的总数。
	\item 利用Excel在“DXYArea.csv”文件中筛选统计各大洲疫情国的数量,并记录。
	\item 利用Excel筛选出5月17号的全球数据，并利用Echarts提供的在线表格数据转换工具
	      （https://echarts.apache.org/zh/spreadsheet.html）将数据转换为JSON格式，
	      供Echarts绘图使用。
	\item 计算全球、各洲及全球主要国家的“累计病例日平均数”\footnote{日平均确诊人数的介绍在第3.3节}。
\end{enumerate}

\subsubsection{处理结果}
1.使用Excel将数据排列成以下的表格形式便于python中使用DataFrame调用，便于可视化处理。
\begin{center}\scriptsize
	\begin{longtable}{lcccccccccc}
		\caption{数据行列调换}
		\label{tab:xx}                                                                                                         \\
		\toprule
		countryCode & date       & country  & province & provinceCode & city   & cityCode & confirmed & suspected & cured & dead \\
		\midrule
		CN          & 2019-12-01 & 中国     & NaN      & NaN          & NaN    & NaN      & 1         & 0         & 0     & 0    \\
		CN          & 2019-12-01 & 中国     & 湖北省   & 420000.0     & NaN    & NaN      & 1         & 0         & 0     & 0    \\
		CN          & 2019-12-01 & 中国     & 湖北省   & 420000.0     & 武汉市 & 420100   & 1         & 0         & 0     & 0    \\
		CN          & 2019-12-02 & 中国     & NaN      & NaN          & NaN    & NaN      & 1         & 0         & 0     & 0    \\
		CN          & 2019-12-02 & 中国     & 湖北省   & 420000.0     & NaN    & NaN      & 1         & 0         & 0     & 0    \\
		...         & ...        & ...      & ...      & ...	...       & ...    & ...      & ...       & ...       & ...          \\
		YT          & 2020-05-17 & 马约特   & NaN      & NaN          & NaN    & NaN      & 1312      & 0         & 627   & 18   \\
		ZA          & 2020-05-17 & 南非     & NaN      & NaN          & NaN    & NaN      & 14355     & 0         & 6478  & 261  \\
		ZM          & 2020-05-17 & 赞比亚   & NaN      & NaN          & NaN    & NaN      & 679       & 0         & 183   & 7    \\
		ZW          & 2020-05-17 & 津巴布韦 & NaN      & NaN          & NaN    & NaN      & 37        & 0         & 12    & 4    \\
		NaN         & 2020-05-17 & 纳米比亚 & NaN      & NaN          & NaN    & NaN      & 16        & 0         & 13    & 0    \\
		\bottomrule
	\end{longtable}
\end{center}
2.使用Python中的DataFrame工具算出全球每日确诊病例、死亡病例和治愈病例如下表，
用于绘制全球疫情的变化趋势。
\begin{center}
	\begin{longtable}{lccccc}
		\caption{每日数据汇总并计算现存病例}
		\label{tab:xxxxxx}                                            \\
		\toprule
		code & dates      & confirmed & cured   & dead   & act     \\
		\midrule
		0    & 2020-03-10 & 35449     & 4409    & 975    & 30065   \\
		1    & 2020-03-11 & 40758     & 5071    & 1227   & 34460   \\
		2    & 2020-03-12 & 48203     & 5806    & 1562   & 40835   \\
		3    & 2020-03-13 & 58175     & 6499    & 1928   & 49748   \\
		4    & 2020-03-14 & 67459     & 7751    & 2356   & 57352   \\
		...  & ...        & ...       & ...     & ...    & ...     \\
		64   & 2020-05-13 & 4293603   & 1549976 & 290008 & 2453619 \\
		65   & 2020-05-14 & 4387261   & 1600908 & 295186 & 2491167 \\
		66   & 2020-05-15 & 4483322   & 1645362 & 300280 & 2537680 \\
		67   & 2020-05-16 & 4580918   & 1700878 & 305415 & 2574625 \\
		68   & 2020-05-17 & 4639308   & 1735191 & 308846 & 2595271 \\
		\bottomrule
	\end{longtable}
\end{center}
3.各洲疫情国数目统计如下：
\begin{center}
	\begin{longtable}{cccccc}
		\caption{每日数据汇总并计算现存病例}
		\label{tab:xxxxx}                               \\
		\toprule
		欧洲 & 亚洲 & 非洲 & 北美洲 & 南美洲 & 大洋洲 \\
		\midrule
		49   & 45   & 56   & 40     & 15     & 8      \\
		\bottomrule
	\end{longtable}
\end{center}
4.5月17日的全球数据转换为JSON格式，下面是从中裁取的一段示例。
\begin{center}\scriptsize
	\begin{lstlisting}{JSON}
{
	"date": "2020-05-17",
	"country": "安道尔",
	"countryCode": "AD",
	"province": "",
	"provinceCode": "",
	"city": "",
	"cityCode": "",
	"confirmed": 761,
	"suspected": 0,
	"cured": 615,
	"dead": 51
}
	\end{lstlisting}
\end{center}
5.“累计病例日平均数”计算结果（这里仅展示了全球“累计病例日平均数”的计算情况）。
\begin{center}
	\begin{longtable}{cccc}
		\caption{“累计病例日平均数”计算结果}
		\label{tab:xxxxxxx}                               \\
		\toprule
		index & dates      & confirmed & Average      \\
		\midrule
		1     & 2020-01-20 & 4         & 4.000000e+00 \\
		2     & 2020-01-21 & 5         & 2.500000e+00 \\
		3     & 2020-01-22 & 6         & 2.000000e+00 \\
		...   & ...        & ...       & ...          \\
		115   & 2020-05-15 & 4483322   & 3.898541e+04 \\
		116   & 2020-05-16 & 4580918   & 3.949067e+04 \\
		117   & 2020-05-17 & 4639308   & 3.965221e+04 \\
		\bottomrule
	\end{longtable}
\end{center}
